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Q einer Mehrzahl von Programmen und/oder sonstigen Dateien, denen jeweils ein Wort des Vokabulars als Name zugeordnet ist, wobei 
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Beschreibung 

Spracherkenner und Betriebsverf ahren fur einen solchen 

Die Erfindung betrifft einen Spracherkenner nach dem Oberbe- 
griff des Anspruchs 1 sowie ein Betriebsverf ahren fur einen 
solchen. 

Nachdem sich die Spracherkennung bei der Texteingabe in auf 
PCs laufenden Biiroapplikationen seit Jahren ein festes und 
stetig wachsendes Anwendungsgebiet gesichert hat, dringt sie 
zunehmend auch in die Steuerung technischer Gerate ein. So- 
wohl bei hochgradig miniaturisierten und zugleich computeri- 
sierten handgehaltenen elektronischen Geraten - insbesondere 
Mobiltelef onen und PDAs - als auch bei technischen Geraten, 
deren Bedienung moglichst wenig Aufmerksamkeit und Konzentra- 
tion des Bedieners binden sollen - wie der verschiedenen 
technischen Gerate in einem fahrenden Auto - kann diese Art 
der Spracherkennung, mit darauf aufbauender Sprachsteuerung, 
sinnvolle Einsatzmoglichkeiten finden. Bei der erstgenannten 
Art von Geraten ist nSmlich die fur Bedienvorgange verfugbare 
Flache so klein geworden, daft sich die Vielzahl moglicher 
Funktionen durch herkommliche Tastatur- oder TouchScreen- 
Eingaben nur noch sehr unbequem (und fur Persdnen mit 
schlechtem Sehvermogen nahezu liberhaupt nicht mehr) realisie- 
ren lafit . Bei Einsatzf eldern, in denen die Aufmerksamkeit des 
Benutzers auf andere Dinge (z. B. den Straflenverkehr ) gerich- 
tet bleiben muft, erbringt die Einfuhrung der Sprachsteuerung 
neben der Komf ortsteigerung auch einen wesentlichen Sicher- 
heitszuwachs. 

In der Spracherkennung wird ein Lexikon mit den zu erkennen- 
den Wortern benotigt. Diese werden im Falle der phonembasier- 
ten Spracherkennung mittels einem Text-to-Phonem-Verf ahren in 
eine phonetische Umschrift uberfQhrt und im Vokabular abge- 
legt. WShrend des Erkennungsvorgangs erfolgt im sogenannten 
Viterbi-Algorithmus eine Suche nach dem besten Pfad durch die 
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im Vokabular enthaltenen Phonemf olgen. Einzelheiten zu den 
etablierten Spracherkennungsalgorithmen finden sich in der 
einschlSgigen Fachliteratur . 

Weitgehend computerisierte technische Gerate der oben ange- 
sprochenen Art (PDAs, Handheld-PCs, Mobiltel^f one, Kfz-Audio- 
anlagen, Kf z-Borcomputer etc.) haben vielfach an PC-Bedien- 
oberflachen angelehnte Strukturen der Benutzerschnittstellen 
bzw. MMIs. Es ist eine Mehrzahl von Applikationen instal- 
liert, die auf geeignete Weise - und bei komplexeren Geraten 
auch in einer bestimmten, logischen hierarchischen Unterord- 
nung - angesteuert werden mussen. Bei herkommlichen GerSten 
dieser Art wird hierzu eine Menusteuerung angeboten, die vom 
Benutzer durch Sof t key-Eingaben ausgefiihrt wird. 

Bei der Applikationswahl per Spracheingabe befinden sich im 
Lexikon die Programmnamen der verfugbaren Applikationen. Nach 
der Erkennung eines Namens wird das jeweilige Programm ausge- 
fiihrt bzw. die Applikation gestartet. Dazu miissen die Pro- 
grarnmnamen und die Programmpf ade in einem geeigneten Format 
abgespeichert sein. 

Gemaft dem Stand der Technik werden die einzelnen Programmna- 
men mit den entsprechenden Erkennungsresultaten (den Worten 
des Lexikons) fest verdrahtet. Dies kann einerseits in einer 
zusatzlichen Datei festgelegt werden oder andererseits fest 
im Quellcode des Programms definiert sein. Beide Methoden ha- 
ben entscheidende Nachteile, welche im folgenden beschrieben 
werden : 

- Beim Arbeiten mit einer zusatzlichen Datei besteht das Pro- 
blem, dafi diese von einem Benutzer einsehbar ist und demzu- 
folge auch verandert werden kann. Auch binare Formate oder 
schreibgeschutzte Dateien bieten keinen wirksamen Schutz vor 
Veranderungen. Dadurch konnen Diskrepanzen zwischen dem ver- 
wendeten Vokabular und der Wortliste bzw. Programmliste ent- 
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stehen. Dies hat auch zur Folge, daft die Applikation mogli- 
cherweise falsch reagiert. 

- Bei der Festlegung der als Steuerbef ehle wirkenden sprach- 
lichen Aufterungen im Quellcode kann das Vokabular auf einfa- 
chem Wege nicht weiter geandert werden. Es mufcte der 
Quellcode jedes Mai neu ubersetzt und ausgeliefert werden, 
sobald Anderungen der Programmnamen auftreten. 

- Der entscheidende Nachteil des bisherigen Vorgehens liegt 
in der fehlenden bzw. unzureichenden Erweiterbarkeit des Sys- 
tems. Bisher ist es dem Benutzer nicht . moglich, seine eigenen 
Kommandos oder Anwendungen in die automatische Spracherken- 
nung mit aufzunehmen - jedenfalls nicht ohne die Gefahr einer 
Storung der urspriinglich programmierten Konf iguration des 
Spracher kenners . 

Der Erfindung liegt daher die Aufgabe der Bereitstellung ei- 
nes verbesserten Spracherkenners und Verfahrens zum Betrieb 
eines solchen zugrunde, mit denen dieser zur Berucksichtigung 
von eigenen Steuerbef ehlen oder Anwendungen des Nutzers fle- 
xibler konfiguriert werden kann. 

Diese Aufgabe wird in ihrem Vorrichtungsaspekt durch einen 
Spracherkenner mit den Merkmalen des Anspruchs 1 und in ihrem 
Verfahrensaspekt durch ein Betriebsverf ahren mit den Merkma- 
len des Anspruchs 6 gelost. 

Die Erfindung schliefit den grundlegenden Gedanken ein, zur 
Sprachsteuerung von Applikationen - bzw. zu einer entspre- 
chenden Handhabung von Dateien - eine mit Links aufgebaute 
Benutzeroberf lache bereitzustellen . Das Organisationsprinzip 
der Links ermoglicht ohne weiteres einen strukturierten Auf- 
ruf von Programmen bzw. Dateien in unterschiedlichen Hierar- 
chieebenen, ohne dafi a priori eine starre Zuordnung definiert 
und programmiert werden mufi. 
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Die Liste der zu erkennenden Worter (das Lexikon) wird durch 
den Inhalt eines bestimmten Dateiverzeichnisses bestimmt, in 
welchem Links (Verknupf ungen) zu den vorhandenen Programmen 
bzw. Dateien enthalten sind. Der Name des Links gibt das zu 
5 erkennende Wort an, und das Programm bzw. die Datei, auf die 
dieser Link zeigt, gibt die auszuf Uhrende Aktion an. Bei der 
Umsetzung des Namens sollte darauf geachtet werden, daft nur 
der Teilstring vor dem ersten Punkt als Kommando verwendet 
wird. Beim Start des Erkennerprogramms wird das Vokabular er- 
10 zeugt. So kann flexibel auf Anderungen der Applikations- bzw. 
Dateistruktur reagiert werden. Sobald ein Wort erkannt wird, 
wird der entsprechende Link aktiviert und die gewunschte Ak- 
tion ausgeflihrt. 

15 Vorteile gegenuber dem bisherigen Verfahren sind in der Fle- 
xibility, was Worte und Aktionen betrifft, und der einfachen 
Erstellung und VerSnderung eines komplexen Erkennerwortschat- 
zes zu sehen. Das Hinzufugen von neuen Kommandos zum bisheri- 
gen Wortschatz kann einfach und in gewohnter Weise durchge- 

20 fuhrt werden. Im Dateiverzeichnis mufc lediglich eine Verknup- 
fung zum gewunschten Programm oder der Datei erstellt werden. 
Unter Windows z. B. ist das Erstellen eins Links einfach ttber 
das Kontextmenii moglich. 

25 Damit wird ein weitere Vorteil klar: Da das Filesystem die 

Verwaltung von Kommandos und Aktionen (Name und Ziel der Ver- 
kniipfung) iibernimmt, ist kein zusatzliches Programm zur Ver- 
waltung des Wortschatzes notig. Soil ein Kommando geloscht 
werden, wird einfach der Link geloscht. 

30 

Da moderne Betriebssysteme auch Links auf Dateien erlauben, 
konnen Dokumente ebenfalls per Sprachkommando geoffnet wer- 
den. 

35 In einer bevorzugten Ausfuhrung umfaftt das Dateiverzeichnis 

eine Mehrzahl von Unterverzeichnissen in mindestens einer un- 
tergeordneten Hierarchieebene, wobei die Verzeichnisnamen ein 
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erstes und gegebenenf alls weitere, hierarchisch untergeordne- 
te aktive Teilvokabulare des Spracherkenners bilden. 

Durch die Verwendung von Unterverzeichnissen im Dateiver- 
zeichnis lassen sich auf einfachste Weise strukturierte 
Sprachauf ruf e von Programmen und Dateien erzeugen. So konnen 
z. B. alle Links zu Musikstucken in ein Unterverzeichnis "Mu- 
sik" abgelegt werden. In der ersten Stufe der Erkennung be- 
findet sich das Wort "Musik" im aktiven Vokabular. Wird die- 
ses erkannt, wird das Vokabular gewechselt (z. B. per Langua- 
ge Model) , die im Unterverzeichnis "Musik" enthaltenen Links 
stehen nun im aktiven Vokabular. 

Insbesondere ist jedem Programm bzw. jeder Datei aus einem 
Unterverzeichnis ein zusammenhangender, mehrgliedriger 
Sprachbefehl zugeordnet, der die Namen der zu dem Programm 
bzw. der Datei fuhrenden Links des Dateiverzeichnisses und 
jedes nachgeordneten Unterverzeichnisses umfaflt. 

Mit dieser Methode lassen sich in einfachster Weise komplexe 
Sprachkommandos erstellen und editieren. Vorhandene Verzeich- 
nisse mit Verknupf ungen, wie z. B. das Windows Startmenu, 
lassen sich nun einfach per Sprachsteuerung bedienen, da 
schon alle ndtigen Inf ormationen vorhanden sind. 

Dieses Verfahren ist eine Weitere.ntwicklung von Verknupf ungen 
mit Programmen (Beispiel Windows PC) und den f estverdrahteten 
Spracherkennerressourcen. Hierbei wird durch Anlegen eines 
Links automatisch die Erkennerressource erstellt. D. h. da- 
nach kann sofort der Name des Links durch den Erkenner verar- 
beitet werden. 

Generell konnen beliebige Dateien und Programme, nachdem sie 
in das spezielle Verzeichnis kopiert wurden, per Sprachbefehl 
gestartet werden. Es ist also egal, ob es sich urn einen Mu- 
siktitel, eine c++Datei, ein Textdokument oder urn ein Pro- 
gramm handelt. Durch das Abspeichern eines Links in dem spe- 
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ziellen Verzeichnis wird die Datei durch das eingestellte De- 
faultprogramm geoffnet. Beispiel: Ein Dokument mit der Endung 
■ doc wird automatisch mit dem Programm Word geoffnet (wie 
beira Doppelklick mit der Maus auf die Datei bei einer her- 
5 kommlichen PC-Eingabe) . 

Die oben erlauterten Aspekte der Erfindung stellen sich so- 
wohl als Vorrichtungsaspekt eines Spracherkenners wie auch 
als Aspekte des Betriebsverf ahrens eines solchen dar - zumal 
10 die Realisierung typischerweise in einer geeigneten Mischung 
aus Hard- und Sof twarekomponenten erfolgen wird. 

Nachfolgend sind zwei Arten, ein Wort in das Erkennerlexikon 
auf zunehmen, genannt : 

15 

(1) Aufnahme durch einen Programmauf ruf uber das Kontextmenu 
fur die gewunschte Anwendung. Hierbei enthalt das Kontextmenu 
zwei Programmauf ruf e (Add und Remove) . Add fugt das entspre- 
chende Programm/die Datei hinzu und Remove zeigt die Liste 

20 der Programme/Dateien an, welche aktuell durch Sprachwahl 
ausgewahlt werden konnen. 

(2) Kopieren des Link der gewunschten Anwendung in den spezi- 
ellen Ordner uber "drag 1 n f drop" . Hierbei muli/ urn ein Programm 

25 zu entfernen, in das entsprechende Verzeichnis gewechselt und 
der gewunschte Link durch "Entfernen" aus dem Verzeichnis ge- 
loscht werden. 

Die Ausfiihrung der Erfindung ist nicht auf die oben beschrie- 
30 benen Beispiele und Aspekte beschrankt, sondern ebenso in ei- 
ner Vielzahl von Abwandlungen moglich, die im Rahmen fachge- 
maflen Handelns liegen. 
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Patentanspruche 

1. Spracherkenner mit einem gespeicherten Vokabular von zu 
erkennenden Wortern zur Sprachsteuerung einer Mehrzahl von 

5 Programmen und/oder sonstigen Dateien, denen jeweils ein Wort 
des Vokabulars als Name zugeordnet ist, 
dadurch gekennzeichnet, daft 
in einem Dateiverzeichnis zu jedem Programm bzw. jeder Datei 
ein Link gespeichert ist, wobei die Namen der Links ein ers- 
10 tes aktives Teilvokabular des Spracherkenners bilden. 

2. Spracherkenner nach Anspruch 1, 
dadurch gekennzeichnet, daft 

die Namen der Links durch Sprachbef ehle gebildet sind und die 
15 Links Verkntipf ungen zu Applikationsprogrammen definieren. 

3. Spracherkenner nach Anspruch 1, 

dadurch gekennzeichnet, daft 
die Namen der Links durch Sprachbef ehle gebildet sind und die 
20 Links VerknUpf ungen zu Dokumenten, insbesondere Textdokumen- 
ten oder Sprach-, Musik- oder Videodateien, definieren. 

4. Spracherkenner nach einem der vorangehenden Anspruche, 
dadurch gekennzeichnet,' daft 

25 das Dateiverzeichnis eine Mehrzahl von Unterverzeichnissen in 
mindestens einer untergeordneten Hierarchieebene umfaftt, wo- 
bei die Namen der Unterverzeichnisse zusammen mit denen der 
Links ein erstes und gegebenenf alls weitere, hierarchisch un- 
tergeordnete aktive Teilvokabulare des Spracherkenners bil- 

30 den . 

5. Spracherkenner nach Anspruch 4, 
dadurch gekennzeichnet, daft 

jedem Programm bzw. jeder Datei aus einem Unterverzeichnis 
35 ein zusammenhangender, mehrgliedriger Sprachbefehl zugeordnet 
ist, der die Namen der zu dem Programm bzw." der Datei fuhren- 
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den Links des Dateiverzeichnisses und jedes nachgeordneten 
Unterverzeichnisses umfaftt. 

6. Betriebsverfahren eines Spracherkenners nach einem der 
vorangehenden Anspruche, 

dadurch gekennzeichnet, daft 
beim Start des Spracherkennerprogramms das aktuelle Vokabular 
erzeugt wird, welches wenigstens die Namen der Links des Da- 
teiverzeichnisses umfaftt. 

7. Betriebsverfahren nach Anspruch 6, 
dadurch gekennzeichnet, daft 

die Administrierung des Vokabulars als Verwaltung des Datei- 
verzeichnisses und optional vorhandener Unterverzeichnisse, 
ohne zusatzliches Vokabular-Verwaltungsprogramm, erfolgt. 

8. Betriebsverfahren nach Anspruch 6 Oder 7, 
dadurch gekennzeichnet, daft 

zur Editierung zusammenhangender, mehrgliedriger Sprachbefeh- 
le unter dem Dateiverzeichnis Unterverzeichnisse in minde- 
stens einer untergeordneten Hierarchieebene angelegt werden 
und die Erkennung zusammenhangender, mehrgliedriger Sprachbe- 
fehle in einem mehrstufigen Erkennungsvorgang erfolgt, in 
dessen Ablauf von einem ersten in ein zweites und gegebenen- 
falls weitere aktive Teilvokabulare gewechselt wird. 

9. Betriebsverfahren nach einem der Anspruche 6 bis 8, 
dadurch gekennzeichnet, daft 

die Aufnahme neuer Worte in das Vokabular oder die Entfernung 
von Worten aus dem Vokabular durch einen Programmauf ruf Ciber 
ein an sich bekanntes Kontextmenu fur das betreffende Pro- 
gramm bzw. die betreffende Datei Oder durch einen 
"drag'n'drop'^Ablauf erf olgt . 
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EPO-Internal , WPI Data, PAJ 



C. ALSWESENTUCH ANGESEHENE UNTERLAGEN 



Kategorte 0 Bezelchmmg der VerotfenUlchung, sowett erfordertlch unter Angabe der In Betracht kot 



Tell© 



Betr. Anspmch Nr. 



US 6 243 680 Bl (GUPTA VISHWA NATH ET AL) 

5. Juni 2001 (2001-06-05) 

Spalte 9, Zelle 47 -Spalte 10, Zeile 62 

US 5 873 064 A (RUBACK HARVEY M ET AL) 
16. Februar 1999 (1999-02-16) 
Spalte 3, Zelle 1 - Zelle 14 
Spalte 3, Zelle 31 - Zelle 43 
Spalte 8, Zetle 30 -Spalte 9, Zelle 61 

EP 0 984 354 A (IBM) 

8. Marz 2000 (2000-03-08) 

Spalte 2, Zelle 45 - Zelle 54 

US 5 890 122 A (HYS0M SHANNON SCOTT ET 
AL) 30. Marz 1999 (1999-03-30) 
Spalte 1, Zelle 19 - Zelle 37 
Spalte 4, Zelle 57 -Spalte 6, Zeile 63 

-/-- 



1-9 



1-9 



6-9 



4,5,8 



Wei ere Veroffenllichungen slnd der Fortsetzung von Fetd C zu 
entnehmen 



Siehe Anhang Patentfamlie 



• Besondere Kalegorlen von angegebenen Ver5ffentflchungen 

'A* VeroffentDchung, cfie den angemeinen Stand der Technlk deSnteri, 
aber nicfit ats besonders bedeutsam anzusehen 1st 

E" fifieres Dokument, das jedoch erst am oder nach dem Intern alion atari 
AnmeUedatum verOffentllcht worden 1st 

L" VerCrTentOchung, die geekjnet Isu elnen Prtorftatsanspruch zweiremafi er- 
scheinen zu lassen, oder dutch cfie das VerGfteninchungsdalum einer 
andaren tm Recherchenbertaht genannten VerOffentOchung belegt werden 
soil oder die aus elnem andaren besonderan Grund angegeoen El (wie 
ausQBfuhrt) 

"O* Ver&ffenUjchung, die steh auf eine mflndPche Offenbarung, 

elna Benutzung, eine Ausstelung oder andare HaBnahmen bezfaht 

"P* VeroffentDchung, die vor dem intemallonalen Anmeldedalum, aber nach 
dam beanspruchlen Prtorttfitsdatum verflffenUichl worden 1st 



1* SpAtere VeroffentHchung, die nach dem Irrternatlonaten Anmetdedatum 
oder dem Prtorftatsdatum verflffentlicht worden 1st und mil der 
Anmeldung ntehl kolldtert, sondem nur zum Veretandnb des der 
E^dm^m^undeltependen Prinzips oder der Ihr zugrondellegenden 

•X" VercffantDcriungvon basonderar Bedeutung; die beanspruchta Erflndung 
kann attain autarund dleser VeroffenlDchung nfcht ate neu oder auf 
erflrtdertecher fatlgkeJt beruhend betrachtet werden 

*Y" VerCffentD chung von besonderer Bedeutung; die beanspruchta Erflndung 
kann nk±l als auf erflnderlscher TaUgketl beruhend betractitet 
werden, wenn die VeroffentDchung ma eineroder me h rare n anderen 
VerQffentUchungen deser Kalegorte In Verttndung gebracht wlrd und 
dfese Verbtndung fur einen Facnmann naheUegend 1st 
VerfiffentDchung, die MftgHed derselben Palentfarnflle est 



Datum des Abschhisses der intemalionalen Recherche 



4. Marz 2003 



Absandedalum des Wemattonaten Recherchenberichts 



13/03/2003 



Name und Postartschrift der InlemaUonalen Recherchenbehorde 
Europaisches Paten tamt, P.B. 5618 Patentlaan 2 
NL-22B0HV RQswijk 
Tel (+31-70) 340-2040, Tx. 31 651 epo n). 
Fax (+31-70) 340-3016 



BevoDm&chtigter Bedlensteter 

Ramos Sanchez, U 



Formbbtt PCT/1SA/21Q (3faa 2) (JuD 19S2J 
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INTERNATIONAL^^ECHERCHENBERICHT 



C.(FortsetZUng) ALS WESENTUCH ANGESEHENE UNTERLAGEN 



Intema^^Ies AJrtenxoIchen 

PCT/EP 03/00005 



Kalegorier Bezetehnung der Ver6ffentlichung, soweQ erforderflch unlet" Angabe der In Betrachl tommenden TeDe 



Betr. Anspnich Nr. 



US 6 233 559 Bl (BALAKRISHNAN SREERAM) 

15. Mai 2001 (2001-05-15) 

Spalte 5, Zelle 62 -Spalte 6, Zelle 49 

"EASY NAVIGATE TASK LIST BY VOICE" 
IBM TECHNICAL DISCLOSURE BULLETIN, IBM 
CORP. NEW YORK, US, 

Bd. 40, Nr. 5, 1. Ma1 1997 (1997-05-01), 
Selte 81 XP000723579 
ISSN: 0018-8689 
das ganze Dokument 
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FormbJaM FCT/;SA/210 (Forsalaffig wn Blatt 2) (JU1 1992) 
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INTERNATIONALEF^CHERCHENBERICHT 

Angaben zu Vartiffenllfchungen, die zur selben PalenlfamlUe gehoren 



Im Recherchenbericht 
angefQhrtes Patentdokument 


Datum der 
Verdffentlichung 


Mrtglied(er) der 
Patentf amine 


Datum der 
Verflffentncriung 



Internalizes AWenzelchen 

PCT/EP 03/00005 



US 6243680 



Bl 



05-06-2001 KEINE 



US 5873064 A 16-02-1999 KEINE 



EP 0984354 A 08-03-2000 US 6263375 Bl 17-07-2001 

CN 1246686 A 08-03-2000 

EP 0984354 A2 08-03-2000 

JP 2000105682 A 11-04-2000 

KR 2000016901 A 25-03-2000 

TW 440788 B 16-06-2001 



US 5890122 A 30-03-1999 KEINE 



US 6233559 


Bl 


15-05-2001 AU 


3080599 A 


18-10-1999 






CN 


1262762 T 


09-08-2000 






EP 


0986809 Al 


22-03-2000 






WO 


9950831 Al 


07-10-1999 



Foimtrfafi PCT7JSV210 (Anhang PatanttamiEe)(Ju5 1992) 



